आजकल बड़े मॉडल (Large Language Model, LLM) के तेजी से विकास के चलते, मॉडल के प्रशिक्षण और अनुमान लागत अनुसंधान और अनुप्रयोग का ध्यान केंद्र बन गए हैं। हाल ही में, Tencent混元 टीम ने एक महत्वपूर्ण अनुसंधान जारी किया है, जो कम बिट फ़्लोट क्वांटिज़ेशन प्रशिक्षण के "Scaling Laws" को गहराई से खोज करता है, अर्थात् फ़्लोट मात्रा का प्रशिक्षण के पैमाने के नियम। इस अनुसंधान का मुख्य उद्देश्य मॉडल की सटीकता को कम करके यह पता लगाना है कि कैसे बिना प्रदर्शन खोए, गणना और भंडारण लागत को काफी कम किया जा सकता है। अनुसंधान टीम ने

हाल ही में, कैलिफोर्निया विश्वविद्यालय बर्कले के स्काई कंप्यूटिंग लैब टीम ने Sky-T1-32B-पूर्वावलोकन जारी किया है, जो एक ओपन-सोर्स इन्फ्रेंस आधारित आर्टिफिशियल इंटेलिजेंस मॉडल है, जो इन्फ्रेंस AI के विकास को और अधिक सुलभ और सस्ता बनाता है। यह मॉडल विभिन्न प्रमुख बेंचमार्क परीक्षणों में उत्कृष्ट प्रदर्शन करता है, और यहां तक कि OpenAI के पूर्व संस्करण o1 के बराबर है। Sky-T1 की प्रशिक्षण लागत आश्चर्यजनक है, केवल 450 डॉलर, जिसका मतलब है कि उच्च स्तरीय इन्फ्रेंस क्षमता की नकल अब संभव हो गई है।

कैलिफोर्निया विश्वविद्यालय बर्कले के आसमान कंप्यूटिंग प्रयोगशाला की शोध टीम NovaSky ने शुक्रवार को Sky-T1-32B-पूर्वावलोकन इंफेरेंस मॉडल जारी किया, जो कई महत्वपूर्ण बेंचमार्क परीक्षणों में उत्कृष्ट प्रदर्शन करता है और OpenAI के o1 प्रारंभिक संस्करण के बराबर है, और सबसे रोमांचक बात यह है कि इसकी प्रशिक्षण लागत बेहद कम है। Sky-T1-32B-पूर्वावलोकन पहला असली ओपन-सोर्स इंफेरेंस मॉडल है, NovaSky टीम ने न केवल मॉडल जारी किया, बल्कि इसका प्रशिक्षण करने के लिए डेटा सेट और आवश्यक प्रशिक्षण कोड भी सार्वजनिक किया है।

हुआनफांग क्वांटिफाइड ने 26 दिसंबर की रात को अगली पीढ़ी के बड़े मॉडल DeepSeek-V3 का अनावरण किया, जो शानदार तकनीकी प्रगति का प्रदर्शन करता है। यह मॉडल MoE (मिक्स्ड एक्सपर्ट) आर्किटेक्चर का उपयोग करते हुए न केवल प्रदर्शन के मामले में शीर्ष बंद स्रोत मॉडलों के समान है, बल्कि इसकी कम लागत और उच्च दक्षता की विशेषता उद्योग का ध्यान आकर्षित कर रही है। मुख्य पैरामीटर के संदर्भ में, DeepSeek-V3 में 6710 अरब पैरामीटर हैं, जिनमें सक्रिय पैरामीटर 370 अरब हैं, और यह 14.8 खरब टोकन के डेटा आकार पर पूर्व-प्रशिक्षण पूरा करता है। पिछले उत्पाद की तुलना में, नए मॉडल की उत्पादन गति में 3 गुना वृद्धि हुई है।

बड़े AI मॉडल (जैसे Transformer और भाषा मॉडल) का प्रशिक्षण AI क्षेत्र में एक अनिवार्य कुंजी पहलू बन गया है, लेकिन यह उच्च गणना लागत, मेमोरी खपत और ऊर्जा की आवश्यकता जैसी चुनौतियों का सामना कर रहा है। उदाहरण के लिए, OpenAI का GPT-3 के पास 1750 करोड़ पैरामीटर हैं, जिसे GPU प्रशिक्षण के लिए कई हफ्तों की आवश्यकता होती है। इन विशाल संसाधनों की आवश्यकता ने इस तकनीक के बड़े पैमाने पर गणना संसाधनों वाले संगठनों में उपयोग को सीमित कर दिया है, साथ ही ऊर्जा दक्षता और पर्यावरणीय प्रभाव के बारे में चिंताओं को बढ़ावा दिया है। इन चुनौतियों का समाधान करना AI के विकास को अधिक व्यापक रूप से सुलभ बनाने के लिए आवश्यक है।

Anthropic के सीईओ का अनुमान है कि अगले तीन वर्षों में एआई मॉडल प्रशिक्षण लागत में महत्वपूर्ण वृद्धि होगी, जो वर्तमान में 1 बिलियन डॉलर से बढ़कर 1000 बिलियन डॉलर तक पहुँच सकती है, जिससे उद्योग में लागत की सीमा और एआई बुलबुले की संभावना पर चर्चा बढ़ेगी। इस लागत में वृद्धि का मुख्य कारण हार्डवेयर की बढ़ती मांग है, विशेष रूप से एआई मॉडल के तेज़ी से विस्तार के लिए उच्च प्रदर्शन कंप्यूटिंग हार्डवेयर (विशेष रूप से GPU और डेटा सेंटर ऊर्जा) की मांग। इसके अलावा, जनरेटिव से सामान्य प्रयोजन की दिशा में आर्टिफिशियल इंटेलिजेंस के विकास के साथ, बुनियादी सिद्धांत।

शंघाई AI प्रयोगशाला ने XTuner बड़ा मॉडल प्रशिक्षण उपकरण发布 किया, जो कई हार्डवेयर के अनुकूलन का समर्थन करता है, जिससे प्रशिक्षण लागत के लिए रुकावट को काफी कम किया जा सकता है। XTuner विभिन्न ओपन-सोर्स बड़े मॉडल के साथ अनुकूलन का समर्थन करता है, और यह कार्यों जैसे कि प्रगति पूर्व-प्रशिक्षण, निर्देश माइक्रोट्यूनिंग आदि को निष्पादित करने की अनुमति देता है। XTuner उपयोग में आसानी और विन्यास योग्यता को संतुलित करता है और इसमें मानकीकृत प्रक्रियाओं के साथ एक-क्लिक प्रशिक्षण शुरू करने की सुविधा है।

Hugging Face ने 'प्रशिक्षण क्लस्टर के रूप में सेवा' नामक एक नई AI सेवा लॉन्च की है, जो कंपनियों को बड़े कंप्यूटिंग संसाधनों के बिना AI मॉडल के प्रशिक्षण की अनुमति देती है। उपयोगकर्ता आवश्यक मॉडल की कॉन्फ़िगरेशन के लिए पैरामीटर, कार्यक्षमता, प्रशिक्षण डेटा की मात्रा और गति के अनुसार मूल्य कैलकुलेटर का उपयोग कर सकते हैं, मूल्य सीमा व्यापक है। यद्यपि यह सेवा प्रदान की गई है, शीर्ष AI मॉडल जैसे GPT-4 या Google का Gemini अभी भी काफी महंगे और शक्तिशाली हैं। AI के प्रशिक्षण की लागत प्रोसेसर प्रौद्योगिकी के साथ बढ़ सकती है।